启动Hadoop、Spark等环境步骤记录

发表于 | 分类于 | 阅读次数：

Hadoop

  1. 启动hdfs集群：

    1
    start-dfs.sh

  2. 验证启动是否成功：jps、50070端口
    spark1：namenode、datanode、secondarynamenode
    spark2：datanode
    spark3：datanode

YARN

1
/usr/local/hadoop/sbin/start-yarn.sh

Hive

在spark1中，直接输入:

1
hive

ZooKeeper

  1. 分别在三台机器上执行：

    1
    zkServer.sh start

  2. 检查ZooKeeper状态：

    1
    zkServer.sh status

kafka

  1. 在三台机器上分别执行以下命令：

    1
    cd /usr/local/kafka/

  2. 执行

    1
    nohup bin/kafka-server-start.sh config/server.properties &

Spark

  1. 在spark目录下的sbin目录

    1
    cd /usr/local/spark/sbin

  2. 执行

    1
    ./start-all.sh

  3. 使用jsp和8080端口可以检查集群是否启动成功

  4. 进入spark-shell查看是否正常
0%